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a siggraph 93 exhibition chair + curator: simon penny fax 904 392 8453 ph# 904 3759025 
mail : FAC302 Dept. of Art University of Florida Gainesville Florida 32611 USA 6/26/93 


To: Michael Saup fax 49 69 438 201 
Steina Vasulka fax 505 473 0614 


Dear Steina and Michael, 

| want to apologise to you both for the inconvenience and uncertainty | have caused you. 
Since | had to cancel the performance event which would have included you and Stelarc, | 
have been working on arranging an alternative venue where you could both present your 
work. This has been made difficult because of shortage of appropriate space, shortage of 
equipment and the logistics of timetabling and publicizing such a performance in the 
siggraph context. | wanted to ensure that you would have a space which you could control, 
which would bo froo from noise and passing traffic. This is not possible. So rathor than 
abuse you by offering a location that would not do justice to your work, | recommend that 
we cancel our plans to present your work at siggraph. | am personally disappointed about 
this, and 1 hope we have the chance to work together at some future time. 

Machine Culture willl thinkbe a great show , | hope you can see k and! hope we can meet there. 
yours sincerely, 





simon penny 


Please note that after July 2, my new address will be: 
Simon Penny 

c/- Depi of Art 

College of Fine Arts 

Carnegie Melion University 

§000 Forbes Ave 

Pittsburgh PA 16213. 


Ph. 412 268 2400 
Fax. 412 268 7167 


COOREcK ANS. 


PS Steina: | tird to fax this to Michael at the above number, but it did not go through, could 
you check the number and/or send it on to him? thanks, sp. 
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Michael Saup 





Seit 1990 kunstlerisch-wissenschaftlicher Mitarbeiter 
an der Stadelschule Frankfurt, 
Institut fur Neue Medien 


1990 Lehrauftrag flr Video und Computermusik an 
der Hochschule fur Gestaltung Offenbach 


seit 1989 Lehrauftrag fur Video und Computer an 
der Akademie der bildenden Kunste, Miinchen 


Von Sehmaschinen zu Multimediamaschinen 

\ 
Das Hauptinteresse meiner Forschungsarbeit an der Stadelschule — Institut ; 
fur Neue Medien, Frankfurt gilt der Steuerung von Bildern durch Klang. Ein 3 
Ziel dieser Tatigkeit stellt die Anforderung dar, moglichst viel Zeit und Arbeit 4 
durch eine Automatisierung ktinstlerischer Prozesse zu sparen. Das nicht. 4 
midifizierte Musikinstrument scheint, zu diesem Zeitpunkt den besten 3 
Sensor fur diese Aufgabe darzustellen, da es ber ein groBes Spektrum an 
Signalen verfugt. Der Arbeitsablauf involviert neben der kiinstlerischen 
Konzeption die Entwicklung von Soft- und Hardware, sowie die Prasentation 
der Ergebnisse im Gegensatz zu konventioneller 2D- oder 3D- Software, die 
noch immer ein muhsames frame-by-frame-rendering beinhaltet, erlauben 
die erarbeiteten Losungen dem Kistler, direkt in die Bild- und Klangwelten 
einzugreifen und sie gegebenenfalls auch zu editieren. 3D-Modelle kannen 
SO beispielsweise auf schnellem Wege aus der Realitat abstrahiert oder 
durch Klange erzeugt werden. 





Ausgangsmaterialien 
Audiodaten konnen in der folgenden Form vorliegen: 


— Standard MID! Files (hexadezimales Datenformat, das die meisten 
Softwaresequencer im- und exportieren kénnen) 

— MiDHmpulse (werden erzeugt von Keyboards, MIDI-Gitarren, Pitchrider...) 

— Analoge Klangquellen (Geige, Sprache, Gerausch....) 

— vorproduzierte Samples (digitalisierte Klange) 


Durch die Umwandlung der akustischen Signale von analog zu digital und 
einer anschlieBenden Interpretation dieser MeRwerte durch einen Steuer- 
computer wird es ermoglicht, geeignete bildgenerierende Gerate wie 
Workstations, Laserdisk-Player oder Harddisk- Rekorder anzusteuern und 
somit akustische Ereignisse in variable visuelle Erlebnisse umzusetzen. Das 
Bildmaterial kann hierbei in der folgenden Form vorliegen: 


— Live-Kamera-Input 

— Laserdisk 

— Harddisk (Abekas A60: ein Gerat, das 30s Video von einer Harddisk 
absplelen und aufnehmen kann) 

— Videoband 

— 3D-Grafik in Echtzeit 


Es ist somit moglich, verschiedenste akustische Parameter wie Tonhohe, 
Lautstarke, Frequenzspektrum oder Rhythmik als Ausgangsimpulse fir eine 
visuelle Choreographie einzusetzen. 
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Mit Hilfe dieser Verfahren habe ich folgende Projekte 
realisiert: 


XTRA.TRAX (1989/90) Ein Computerprogramm er- 
zeugt aus Standard Midt Files Schnittlisten fur einen 
SONY-910-Videoschnittcontroller, die dann selbst: 
Standig abgearbeitet werden. Die Erzeugung eines 
Videoclips wird so auf komplexe Art und Weise 
automatisiert (Autodip). 


A666 (1990) Der Abekas A60 wird direkt durch ein 
Musikinstrument angesteuert, d.h. ein Video wird nicht 
mehr geschnitten, sondern in Echtzeit gesteuert (Auto- 
scratching). 


PAULA CHIMES (1991) 16 Stahlrohren steuern klang- 
und bilderzeugende Peripherie (interaktives instrument). 


TILT IT (1991) Uber algorithmisch erzeugte Bild. 
Strukturen (Cybertime) wird eine 3D-Reprasentation 
eines Gitarrensolos mit Reflectionmapping und 
Fileinterpolation animiert, d.h. die Reprasentation des 
Bildes ist gleichbedeutend mit der Reprasentation des 
Kianges (Autoclip). 


ROMISCHE HUNDE (zusammen mit Anne Sickler) 
(1991) Der Videoport des Theaterstticks am TAT Frank- 
furt (MultiMedia Event). 


DWARFMORPH (1992) Eine speziell entwickelte Soft- 
ware vermag direkt aus 2D-Videobildern 3D-Modelle 
abzuleiten und zu animieren, d.h. der Betrachter (via 
Videokamera abgetastet) wird ein direktes bildnerisches 
Element eines dreidimensionalen virtuellen Raums 
(Automodei, Autopresence). 


HYENA DAYS (1992) Ein Konzert visueller Musik mit 
Steina Vasutka auf der Ars Electronica 1992. Die 
Musiker konnen mit ihren Instrumenten bild- und klang- 
erzeugende Maschinen steuern. Diese Bilder werden 
dann auf Videomonitoren und Videobeamern darge- 
Stellt (MultiMedia Event). 


7) 


Neen erases. 


Verfahren der Bildmanipulation 


NON-REALTIME: 
Diese Verfahren eignen sich dazu, visuelles Ausgangsmaterial fur Laserdisis, 
Harddisks oder Videobander zy generieren, das spater wieder angesteuert 
werden kann: | 
- Digital Signal Processing (DSP): Edge Detection, Filterung und 
Fast Fourier Transformation auf Bilder angewanat 
- konventionelle 2D & 3D Animation 
— komplexe audioverkoppelte Bildgenerierung 


REALTIME: 
Diese Verfahren konnen live, das heiBt in Echtzeit angewendet werden: 
- Laser- und Harddisksteuerung mit verschiedenen Parametern: variable 
Geschwindigkeiten, gotoframe 
~ Realtime-Grafik 
— Anwendung von unbearbeiteten Eingangsdaten auf 3D-Modelle 
— Anwendung von bearbeiteten akustischen -ingangsdaten 
(FFT...) auf 3D-Modelle 
~ Texturemapping von allen Bildquellen auf diese 3D-Modelle 
- Realtime Warping: Bilder werden dreidimensional verzerrt.. 
- Realtime Morphing: Bilder verwandetn sich in andere... 


Verfahren der Klangerzeugung 


In einer Art Multitasking kénnen neben der Bildsteuerung noch klanger- 
Zeugende Peripheriegerate wie Sampler, Mischpulte oder Effektprozessoren 
gesteuert werden. Akustisches Material wird folgendermaBen erzeugt: 
~ Klangsynthese 
~ Auto Komposition: 
— Ml[Dlbrain: der Computer hért mit und komponiert 
- MlDicloning: der Computer hort mit und ahmt Musik nach 
- algorhithmische, mathematische Methoden: zum Beispie! 
Randomwalk, Feigenbaum... 
— Veranderung von Effektparametern, wie Halltiefe, Lautstarke, 
Verzerrungsgrad, usw. bei Effektprozessoren 
~ destruktives Echo (selferasing loops) 


Samtliche entwickelten Systeme (Hardware und Software) zielen darauf ab. 
dem ausfuhrenden Kunstler (Bild und Ton) eine Vielzahl kreativer, automati- 
sierter Vorschlage zu unterbreiten. Es ware somit auch kein technologisches 
Problem mehr, mit einer Stradivari einen Bagger fernzusteuern, sondern nur 
noch ein kunstlerisches (oder umgekehrt). 


Nee a eae 











+ 334: 





